Ba Huy có bốn người vợ và rất nhiều nhân tình. Người vợ đầu là người Pháp, trong thời gian Ba Huy đi học ở Paris. Về nước ông cưới một người vợ ở Bạc Liêu là Ngô Thị Đen. Bà này ở với Ba Huy sinh được người con gái là cô Hai Lưỡng. Sau cô Hai Lưỡng qua Pháp sống. Từ năm 1945, Ba Huy lên Sài Gòn ở hẳn. Ông lấy thêm một bà nữa (bà Nguyễn Thị Hai) và sinh được ba người con: Thảo, Nhơn, và Đức.

Bà cuối cùng, khoảng năm 1968, Ba Huy dọn về căn nhà phố đường Nguyễn Du, Sài Gòn. Mỗi sáng đứng trên lầu nhìn xuống, ông thấy một cô gái gánh nước đi qua đẹp quá. Hỏi thăm thì được biết cô gái đó là con ông già làm nghề sửa xe đạp. Ba Huy đến nhà ông già xin "đổi" căn nhà đó lấy cô gái. Ông già và cô gái sau khi bàn bạc đồng ý. Và đó là người vợ cuối cùng của Ba Huy, kém ông đến 50 tuổi. Bà sống chung thủy với ông đến ngày ông qua đời. Họ có ba con trai và một con gái tên Hoàn, Toàn, Trinh và Nữ.

Ông Ba Huy còn rất nhiều con với các nhân tình. Tuy những người đó không phải vợ chính thức nhưng con cái của họ đều được họ Trần thừa nhận.